Categorias

Artigos Completos
Artigos Resumidos
Relatos de Experiência na Indústria
Demonstrações e Pôsteres
Tutoriais
Workshops
Competição de avaliação

Competição de Avaliação de Sistema

Coordenadores: Clarissa Barbosa (PUC-Rio) & Elizabeth Furtado (Unifor)

Esta categoria busca motivar a participação no IHC 2008 de alunos e professores de IHC, contribuindo para a formação destes alunos, a geração de material didático e a experiência da comunidade. A Competição de Avaliação tem um caráter essencialmente prático - os participantes fazem a avaliação de um sistema computacional e, assim, aplicam seus conhecimentos teóricos relacionados a metodologias de avaliação de IHC. A primeira edição da Competição de Avaliação foi no IHC 2006. Inscreveram-se um total de 45 equipes, de diversas instituições de ensino do país. No Grupo de Trabalho promovido durante o IHC 2006, os participantes compartilharam que a Competição introduziu um elemento motivador nos processos de ensino e aprendizagem dos métodos de avaliação. Esses resultados positivos trouxeram-nos à segunda edição da Competição, no IHC 2008.

Equipes Finalistas da Graduação

Avaliação da Comunicabilidade e Possíveis Impactos Sociais do Orkut
Rodrigo da Silva (Aluno, Universidade Federal de Minas Gerais)
Vitor Oliveira (Aluno, Universidade Federal de Minas Gerais)
Raquel Lara (Aluno, Universidade Federal de Minas Gerais)
José Ricado Moura (Aluno, Universidade Federal de Minas Gerais)
Raquel Prates (Professor, Universidade Federal de Minas Gerais)

Avaliação de Usabilidade do Sistema Colaborativo Orkut
Renato Aurélio Sales (Aluno, Pontifícia Universidade Católica de Minas Gerais)
Diógenes Peçanha (Aluno, Pontifícia Universidade Católica de Minas Gerais)
Tiago Arruda (Aluno, Pontifícia Universidade Católica de Minas Gerais)
Cristiane Nobre (Professor, Pontifícia Universidade Católica de Minas Gerais)

Avaliação do Sistema Colaborativo Orkut Utilizando Avaliação Heurística e Teste com Usuário
Kênia Carolina Goncalves (Aluno, Pontifícia Universidade Católica de Minas Gerais)
Fabrícia Almeida Batista (Aluno, Universidade do Estado de Minas Gerais)
Yuri Grossi Barbosa Barssi (Aluno, Pontifícia Católica Universidade de Minas Gerais)
Cristiane Nobre (Professor, Pontificia Universidade Católica de Minas Gerais)

Uma Avaliação de Acessibilidade do Google Grupos
Wescley Castro (Aluno, UFOP - Universidade Federal de Ouro Preto)
Marcelus Oliveira (Aluno,Universidade Federal de Ouro Preto)
Suelaine Andrade (Aluno,UFOP)
Dayanne Coelho (Aluno, UFOP)
Elton da Silva (Professor, Universidade Federal de Ouro Preto)

Equipes Finalistas da Pós-Graduação

Avaliação de interfaces e sistemas colaborativos para comunidades Web: dois estudos de caso
Laura García (Professor, Universidade Federal do Paraná)
Dayane Machado (Aluno, Universidade Federal do Paraná)
Juliano Duarte (Aluno, Universidade Federal do Paraná)

Relatório de Avaliação do Orkut como meio de Aprendizagem Informal em processo Colaborativo
Alex Sandro Gomes (Professor, Universidade Federal de Pernambuco)
Flávia Souza (Aluno, Universidade Federal Rural de Pernambuco)
Félix Farias (Aluno, Universidade Federal de Pernambuco)
Raoni Franco (Aluno, Universidade Federal de Pernambuco)

Uma Avaliação do Orkut utilizando Personas sob a ótica da Nova Usabilidade
Kelma Madeira (Monitor, Universidade de Fortaleza)
Julio Guido Militão (Professor, Universidade de Fortaleza)
Lenine Nobrega (Aluno, Universidade de Fortaleza)
Leandro da Silva (Aluno,Universidade de Fortaleza)
Denilson Oliveira (Aluno, Universidade de Fortaleza)
Italo Matos (Aluno, Universidade de Fortaleza)

Tema deste Ano

Em linha com o tema do IHC 2008, a Competição de Avaliação do IHC 2008 é um convite à reflexão dos usuários como comunidades interconectadas. Esperamos que os participantes desta Competição pensem naqueles que usam a tecnologia no cotidiano como meio produtivo, de entretenimento e de socialização, e naqueles que já na terceira idade aprendem as novas tecnologias para melhorar a qualidade de vida. Propomos, então, a avaliação de sistemas colaborativos, em particular, da funcionalidade que permite aos usuários comunicarem-se, interagirem e colaborarem uns com os outros através de suas interfaces.

Sobre Sistemas Colaborativos (SiCos)

SiCos dão suporte à interação online entre pessoas. O propósito desta interação pode variar bastante, desde a realização de um trabalho em comum (e.g. CSCW - computer-supported cooperative work ou trabalho cooperativo apoiado por computador), passando pela troca de informações e experiências profissionais (e.g. comunidades online profissionais - communities of practice) ou pessoais (e.g. comunidades online de saúde - online health support communities), até o lazer (e.g. jogos). Através da interface de SiCos, seus usuários interagem não apenas com o sistema, mas também e principalmente entre si. Contribuições teóricas e estudos empíricos revelam que SiCos influenciam o desdobramento da comunicação mediada entre os usuários, as experiências que eles terão ao utilizar o sistema e, em última instância, a atividade social mais ampla que está sendo apoiada pelo sistema, bem como a história do grupo. Um exemplo bastante conhecido dessa influência são as mudanças ocorridas na comunicação humana resultantes da introdução da comunicação eletrônica. (Clique aqui para ler mais sobre o impacto social de SiCos.)

Avaliação

Cada equipe deve escolher um dentro os SiCos listados na Tabela 1 para avaliar. A parte do sistema que deve ser avaliada é aquela que permite aos usuários comunicarem-se, interagirem e colaborarem uns com os outros através da interface do sistema, e também está especificada na Tabela 1. É importante que os membros das equipes conheçam profundamente o sistema que será avaliado, que tenham experiências reais de uso deste sistema.

* Na próxima seção, falaremos sobre o wiki da Competição.
As equipes terão liberdade para escolher o(s) método(s) (no máximo dois) que utilizarão para avaliar o sistema.
Após a avaliação, cada equipe deve gerar um relatório, de, no máximo, 10 páginas, com o seguinte conteúdo:

• Nome e breve descrição do SiCo avaliado;
• Nome do(s) método(s) de avaliação utilizado(s);
• Justificativa da escolha deste(s) método(s);
• Descrição do processo de avaliação;
• Resultados da avaliação
• Problemas encontrados: descrição, local da interface e justificativa;
• Fechamento: conclusão e outras observações
• Opinião da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) questões sociais relacionadas ao uso do SiCo para comunicação entre seus usuários (e.g. privacidade, polidez, eficiência na comunicação, relacionamento de confiança entre os usuários, tratamento igualitário, autonomia, comportamento ético).

O relatório deve ser submetido utilizando o modelo para publicação de aartigos da SBC, disponível em http://www.sbc.org.br.

Para maiores informações sobre o processo de submissão, visite Submissões.

Wiki da Competição de Avaliação de Sistema

Recomendamos fortemente que vocês visitem o wiki da Competição!

Lá contamos a história desta categoria, registramos experiências, sugestões, e o que mais acharmos relevante. Todos nós juntos: alunos, professores e organizadores.

As inscrições para participação na Competição deste ano são feitas no wiki!

Lá vocês encontram um FAQ com as perguntas que nos estão sendo feitas, junto com nossas respostas.

Clique aqui para acessar o Wiki.

Instruções para Participação

Para participar na Competição a equipe deve cumprir quatro etapas:

1. Inscrição na categoria Competição de Avaliação de Sistema;
2. Execução da avaliação;
3. Submissão do relatório de avaliação;
4. Apresentação oral durante a sessão de Competição de Avaliação de Sistema que ocorrerá durante o IHC 2008.

Vale ressaltar que só serão aceitos relatórios de equipes previamente inscritas e confirmadas na Competição. Serão oferecidos 2 níveis de participação: graduação e pós-graduação. A seguir descrevemos a formação da equipe para cada um destes níveis e as etapas de participação.

Formação da Equipe

A formação da equipe é que determina a sua participação no nível de graduação ou de pós-graduação. Todas as equipes devem ter pelo menos um professor-orientador, vinculado a uma instituição de ensino superior. A composição de equipes deve obedecer às seguintes regras de formação, em cada nível:

• Graduação: no mínimo 3 alunos e no máximo 5 alunos de graduação.
• Pós-graduação: no mínimo 2 alunos e no máximo 4 alunos de pós-graduação.

Inscrição na Competição de Avaliação de Sistema

Para se inscrever na Competição, basta acessa o wiki e seguir as orientações. É um processo simples e rápido, sem custo algum. Qualquer um dos membros da equipe pode fazer a inscrição. A inscrição pode ser feita até o dia da submissão do relatório.

Datas Importantes

• Prazo de inscrição das equipes: de 01/04/2008 a 20/07/2008
• Prazo de submissão dos relatórios: 04/08/2008
• Notificação dos finalistas para apresentação no IHC 2008: 16/09/2008

Avaliação dos Relatórios Submetidos

Cada relatório será avaliado por revisores com experiência comprovada em IHC ou avaliação de sistema interativos. Serão levados em conta os seguintes critérios de julgamento:

• Legibilidade, organização e apresentação do texto do relatório de avaliação;
• Definição clara do escopo e objetivo da avaliação;
• Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;
• Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;
• Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolvam a participação de usuários, ou outras pessoas fora da equipe);
• Qualidade da análise crítica da capacidade do método revelar ou não potenciais efeitos sociais do sistema nos usuários;
• Relevância do trabalho para a comunidade acadêmica e indústria.

Documentos de apoio as revisores:

• Orientação aos revisores
• Fomulário de revisão

Ambos os documentos serão disponibilizados futuramente.

Seleção e apresentação no IHC 2008

Serão selecionados finalistas em cada um dos níveis (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas da audiência, durante o IHC 2008, a realizar-se na cidade de Porto Alegre - RS, entre os dias 21 e 24/10/2008. Cada equipe selecionada receberá da organização do evento uma inscrição gratuita para um de seus membros alunos.
Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação no IHC 2008.

Premiação

Haverá duas equipes vencedoras, uma de graduação e outra de pós-graduação. Cada equipe receberá:

• Um certificado;
• Um prêmio dos organizadores.

Vale ressaltar que concorrerão ao certificado e prêmio somente os relatórios de equipes selecionadas que tenham feito a apresentação oral no IHC 2008.

Publicação

Pelo menos um dos membros das equipes finalistas deve estar inscrito na conferência para que o relatório seja publicado nos anais do IHC 2008, em mídia digital. Os relatórios dos finalistas serão publicados também no site da Comissão Especial de IHC (CEIHC) da SBC.

Confidencialidade das Submissões

Submissões serão mantidas confidenciais durante o processo de revisão. Os relatórios dos finalistas serão mantidos confidenciais até o início do evento. Os relatórios das equipes que não tiverem sido selecionados como finalistas poderão, mediante autorização do professor-orientador, ser divulgados no site da CEIHC.

Contato

Em caso de dúvidas sobre as instruções para participação, entre em contato com a coordenação da competição, Clarissa Barbosa e Elizabeth Furtado.

Impacto Social de Sistemas Colaborativos

Winograd e Flores (1986) chamam nossa atenção para o fato de que todo sistema computacional necessariamente influi nas realizações e nas relações sociais das pessoas que a utilizam. Mais recentemente, Ackerman (2000) defendeu que o maior desafio do design de SiCos não é de ordem tecnológica, mas sim social. Ele diz que sistemas com recursos de CMC (computer-mediated communication ou comunicação mediada por computador) ainda não atendem de forma satisfatória à necessidade de compartilhamento de informações, papéis e outras políticas sociais do grupo, e discute a impossibilidade de SiCos darem pleno suporte às necessidades, desejos e competências sociais dos usuários. Ao final, propõe um caminho de pesquisa na direção de uma compreensão mais profunda da natureza desta lacuna, visando encontrar maneiras de minimizar ou contornar seus efeitos no trabalho em grupo. Para ele, é fundamental que designers conheçam e compreendam as necessidades, os desejos e as competências sociais dos usuários para que possam desenvolver sistemas que respondam apropriadamente a essas questões.
Mais ou menos na mesma época, Dourish (2001) explorou as questões sociais inerentes ao uso da tecnologia. Ele diz que os recursos oferecidos aos usuários e a forma como foram implementados e são por eles utilizados transformam suas práticas, seu comportamento e suas expectativas. Como exemplo, Dourish cita as mudanças ocorridas na comunicação humana resultantes da introdução da comunicação eletrônica. Ele então sugere que a questão principal do desenvolvimento de tecnologias seja compreender a relação entre as decisões de design e a atividade social que está sendo apoiada pela tecnologia.
Reforçando a responsabilidade social de designers de SiCos ressaltada por Winograd e Flores, Ackerman e Dourish, NicolacidaCosta (2000) diz:
... receio que muitas vezes [os profissionais de informática] não tenham como avaliar, do ponto de vista psicológico, as possíveis conseqüências daquilo que criam. A meu ver, é imprescindível, no entanto, que os profissionais de informática tenham plena consciência de que um software ou uma interface são muito mais do que tecnologia. Não custa enfatizar que diferentes tipos de software e interfaces estão construindo um novo mundo, uma nova experiência de vida para os homens e mulheres contemporâneos; ... Assim sendo, é grande a responsabilidade de quem participa ativamente dessa construção. (op. cit., p.11)

Finalmente, de Souza (2005) também reconhece e enfatiza a responsabilidade social de designers de SiCos:
… designers de SiCos determinam os tipos e a qualidade da comunicação e das ações que os usuários experimentarão através da mediação do sistema. O design determinará se eles podem ser cooperativos, sociáveis, justos, e cordiais uns com os outros. O design determinará se eles experimentarão prazer, confiança, privacidade e segurança enquanto estiverem juntos. O design determinará as percepções dos usuários uns sobre os outros e, conseqüentemente, as reações individuais e coletivas a essas percepções. (op. cit., p.216)

De Souza também destaca a necessidade de que designers de SiCos tenham acesso a conhecimentos gerados em disciplinas da área de Ciências Humanas e Sociais, tais como psicologia, sociologia e antropologia: “À medida que as aplicações computacionais passaram a ser utilizadas com propósitos sociais, emocionais, culturais e até mesmo políticos, ficou claro que designers de IHC necessitam de maior conhecimento sobre as Ciências Humanas e Sociais do que costumavam ter.” (op. cit., p.233)

ACKERMAN, M. The intellectual challenge of CSCW: the gap between social requirements and technical feasibility. Human-Computer Interaction, v.15, n.2, p.181203, 2000.

de SOUZA, C.S. The semiotic engineering of human-computer interaction. Cambridge, MA: The MIT Press, 2005a.

DOURISH, P. Where the action is. Cambridge, MA: The MIT Press. 2001.

NICOLACI-DA-COSTA, A.M. A Tecnologia da Intimidade. Anais do III Workshop sobre Fatores Humanos em Sistemas e Computação, IHC 2000. RS: UFRGS, Instituto de Informática, 2000.

WINOGRAD, T.; FLORES, F. Understanding computers and cognition: a new foundation for design. Norwood, NJ: Ablex Publishing Corporation, 1986.